Frederick Jay Rubin sinh ra ở Long Beach, New York và lớn lên ở Lido Beach, New York. Cha của ông, Michael (Mickey) là một người bán sỉ giày và bà mẹ ông, Linda, một bà nội trợ. Ông ta thuộc dòng dõi người Do Thái.[4] Trong khi còn là một sinh viên tại Trường Trung học Long Beach, ông làm bạn với giám đốc bộ phận nghe nhìn của trường, Steve Freeman, người đã dạy cho ông ta một vài bài học về chơi guitar và viết nhạc. Sau đó ông chơi trong một ban nhạc với bạn bè thời thơ ấu của mình là Marc Greenhut, Carlos Ferreiro, và Joey Ferrante trong gara nhà để xe và các chương trình biểu diễn cho những người bạn trong thành phố cho đến khi Steve, một giáo viên AV, đã giúp anh sáng tạo ra một ban nhạc punk mang tên The Pricks.